AI Papers Daily

#transfer learning

4 篇

StudyBench: Can Self-Evolution Squeeze Textbooks for Olympiad Capability?

StudyBench：自进化能否将教科书转化为奥赛能力？

🧭 自进化能力评测基准

Tsinghua University · Zhejiang University

提出受控物理基准 StudyBench，量化自进化从教科书到奥赛能力的吸收与迁移效率，并揭示 Guidance Gap 与 Compute Plateau

📌 工作参考价值（4 点）

• 在自研 Agent/LLM 持续学习或微调项目中，引入「吸收集/迁移集」双层评测，区分同分布刷分与跨分布可迁移能力，避免被 Application Set 式指标误导。
• 当新知识或业务文档以 in-context 形式输入时模型表现明显优于微调后，说明存在 Guidance Gap；此时优先考虑 RAG/上下文增强，而不是急于微调。
• 监控 Compute Plateau：在数据或算力预算远未耗尽时指标已饱和，需要回头审视训练方法、知识表示或合成数据策略，而不是盲目增加数据或训练步数。
• 在搜索/推荐中的 LLM 任务（query 改写、文案生成等）引入持续业务知识时，用受控基准隔离数据、算力、方法因素，能更准确判断迭代方向。

Eval | 2026-08-31 | HF Daily | score 6/10

self-evolutionbenchmarkLLMtransfer learningcompute plateauguidance gap

Same Graph Cross-Task Transfer in GNNs: Protocols and Predictors

图上同图跨任务迁移的协议与预测方法

🧭 同图跨任务迁移的评估协议与预测因子

University of Texas at Dallas · Virginia Polytechnic Institute and State University

提出无泄漏评估协议并揭示节点分类与链路预测跨任务迁移的方向性和可预测性

📌 工作参考价值（4 点）

• 泄漏防护协议可迁移至多任务图学习评估：在电商推荐中，用户-商品交互图常同时需要节点分类（如用户属性）和链路预测（如购买行为），可采用固定节点/边划分、消息传递图排除评估边、固定负样本的策略，避免数据泄漏导致的错误乐观估计。
• 根据同质性选择迁移方向：实验表明 NC→LP 在 homophilic 图上稳定正向，而 LP→NC 仅在结构易学且节点分类任务不饱和时才有效。在构建多任务模型时，可先计算图的同质性指数，指导是采用共享编码器还是分离任务分支。
• LP 作为结构预训练：在用户-商品图中，若节点属性稀疏或不可靠，可先用链路预测任务预训练 GNN，再微调到节点分类（如用户流失预测），但需监控目标任务的饱和程度，防止负迁移。
• CoTask Score (CTS) 作为联合目标：当需要单一编码器同时服务 NC 和 LP 时，CTS 能综合衡量两者效用，帮助选择最佳模型架构和训练机制，避免多任务折衷中的性能退化。

Other | 2026-07-30 | cs.LG | score 6/10

GNNtransfer learningnode classificationlink predictionhomophilycross-task

Localized Adaptation Reveals Distinct Learning Signatures in Transformers

局部适调揭示 Transformer 中不同学习目标的分层偏好

🧭 LoRA 层位置与学习特征适配

Yale University

不同层应用 LoRA 会形成各异的学习特征：词法绑定重早期层，事实关联偏后期层，行为策略学后期动作、中期门控

📌 工作参考价值（4 点）

• 任务驱动的 LoRA 层选择：若需让模型快速绑定新商品名、品牌词等（词法绑定），优先在早期层（1–6层）插入 LoRA，获取速度快且对无关上下文扰动小；若需更新商品属性、事实知识，则应在后期层（约20+层）适配，避免覆盖早期通用表示。
• 对话/Agent 策略微调解耦：行为策略学习（如导购话术、推词决策）中，行为的具体生成（action）适合在后期层适配，而策略控制（何时执行）适合在中间层适配，可分层挂载不同 LoRA 模块，减少策略遗忘与干扰。
• 因果与流程推理任务适配位置：类似推理“用户搜索→点击→转化”的因果链或售后流程，在模型中、后期或全层适配效果更好，不建议只在单侧浅层或深层微调。
• 避免灾难性迁移的基础原则：当希望模型在新任务上泛化且不破坏原有能力时，可参考论文学到的“适应几何”：获取、迁移、边界性三者往往不可兼得，需按业务目标选择关键层位，如追求高迁移性能需考虑中层或全栈适配。

Training | 2026-07-28 | cs.CL | score 7/10

LoRAlayer localizationtransfer learningmodel adaptationtransformer learning

Adapting Embedding Models for Agent Capability Retrieval

适配嵌入模型用于智能体能力检索

🧭 Agent 能力检索 · 嵌入模型微调

University of Technology Sydney · Squirrel AI Learning

微调通用文本嵌入模型实现跨目录的 Agent 能力检索，并在未见数据集上验证迁移有效性

📌 工作参考价值（4 点）

• 电商功能/服务统一检索：将商品、工具、服务包装成“能力 profiles”，可用相同范式构建搜索引擎，统一索引异构货架。
• 元数据驱动的 embedding 微调：利用公开元数据自动生成能力描述，无需人工标注大量 query-item 对，可快速搭建新业务的检索基线。
• 跨域迁移的思路：先在一个可获取的源域（如开源 Agent 目录）微调，再部署到目标域（如内部工具/技能库），无需冷启动大量数据，验证了跨目录泛化可行性。
• 模型选择：BGE-base、KaLM-v1.5、EasyRec 等通用检索模型经微调后可用于垂直 Agent 搜索，为工业上选型提供参考。

Agent | 2026-07-19 | cs.IR | score 7/10

agent retrievalembedding adaptationtransfer learningcapability profilestext embeddingmodel fine-tuning